Awal 1941 Waldheim menyertai pasukan perisik Wehrmacht dari 1942-1945 dan dihantar ke persempadanan barat sebagai ketua skuad. Disember 1942 beliau cedera tetapi menyertai tentera semula. Pada 1985-1986 hal ini menjadi isu kerana dalam autobiografi beliau, beliau menyatakan beliau tamat dari Wehrmacht dan sambung belajar undang-undang di Universiti Vienna dan berkahwin pada 1944. Tapi dokumen dan saksi menunjukkan Waldheim berkhidmat sebagai Wehrmacht sehingga 1945.

Peranannya sebagai staf Tentera Jerman , Grup E dari 1942 - 1945 diputuskan oleh Suruhanjaya Sejarah Antarabangsa . Waldheim disahkan sebagai :

• pegawai penterjemah kepada Division ke-5 Itali (Pusteria) pada April / Mei 1942
• Pegawai komunikasi dalam Kampfgruppe , Barat Bosnia pada Jun/ Ogos 1942.
• Penterjemah kepada Batalion 9 Tentera Itali di Tirana pada musim panas 1942.
• Pegawai tentera Jerman dengan Tentera Itali ke-11
• Pegawai dalam Tentera Grup E di Arksali , Mitrovica dan Sarajevo dari 1943 hingga Januari / Februari 1945.